Kelly lahir di daerah Highland Park, Pittsburgh sebagai putra ketiga Harriet Catherine (née Curran) dan James Patrick Joseph Kelly, seorang wiraniaga fonograf.[2] Ayahnya kelahiran Peterborough, Kanada, berasal dari keluarga keturunan Irlandia. Kakek dari pihak ibu adalah imigran dari Derry di sebelah utara Irlandia, sementara nenek dari pihak ibu adalah keturunan Jerman.[3] Pada usia delapan tahun, Kelly didaftarkan ibunya ke les dansa, bersama kakaknya yang bernama James. Keduanya memberontak, dan, menurut Kelly: "Kami benar-benar tidak senang dan jadi terus menerus terlibat adu jotos dengan kelompok anak laki-laki tetangga yang menyebut kami bencong... Aku tidak menari lagi hingga berusia lima belas tahun." Ia ketika itu sadar kalau dansa dapat dipakai untuk menggaet gadis-gadis.[4] Kelly kembali berdansa atas inisiatif sendiri dan pada waktu itu sudah menjadi olahragawan ulung dan bisa menjaga dirinya sendiri. Ia bersekolah di Sekolah Dasar St. Raphael[5] di daerah Morningside, Pittsburgh, PA. Pada tahun 1929, ia lulus dari Sekolah Menengah Atas Peabody pada usia 16 tahun. Setelah itu, ia kuliah di Pennsylvania State College untuk belajar jurnalisme, namun krisis ekonomi membuatnya terpaksa mencari pekerjaan demi menolong keadaan keuangan keluarga. Ia menari bersama adiknya yang bernama Fred demi mendapatkan uang hadiah di kontes-kontes talenta lokal, sambil juga tampil di kelab-kelab malam.[4]

Karier di Teater Broadway dimulainya pada November 1938 sebagai penari di Leave It to Me! karya Cole Porter. Perannya sebagai sekretaris duta besar Amerika Serikat, mendampingi Mary Martin ketika sedang menyanyikan "My Heart Belongs to Daddy". Sebelumnya Kelly pernah dipakai oleh Robert Alton ketika mementaskan pertunjukan di Pittsburgh Playhouse. Alton terkesan oleh keterampilan mengajar Kelly. Ketika Alton sedang menyusun koreografi One for the Money, ia membayar Kelly untuk berakting, menyanyi, dan menari untuk delapan nomor pertunjukan. Pada tahun 1939, Kelly terpilih untuk ikut serta dalam revue musikal "One for the Money" produksi Katharine Cornell yang dikenal sering mencari dan mengupah aktor muda berbakat.